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Contexto 

Sistema Nacional de Avaliacao do Ensino Superior, SINAES, foi instituido por 
lei em abril de 2004, em substituicao ao sistema instituido na decada de 90, que 
incluia o Exame Nacional de Cursos (conhecido como "Provao") e outros 
instrumentos como a "Analise das Condicoes de Ensino (ACE)"; a "Avaliacao das 
CondicSes de Oferta" (ACO); e a "Avaliacao Institucional dos Centros 
Universitarios.". A implementacao do SINAES e da responsabilidade da Comissao 
Nacional de Avaliacao do Ensino Superior (CONAES), e a execucao dos 
procedimentos de avaliacao estabelecidos pelo CONAES e da responsabilidade 
do Instituto National de Estudos e Pesquisas Nacionais, do Ministerio da 
Educacao. A mesa foi coordenada por Wagner Andriola, da Universidade Federal 
do Ceara, e contou com a presenca de Sergio Franco, presidente do CONAES, e 
Roberto Verhine, membro do CONAES. 

Questoes gerais sobre o SINAIS. 

Ministerio da Educacao, atraves do SINAES, procura cumprir duas funcoes que 
sao distintas, embora relacionadas. A primeira e autorizar e revalidar o 
credenciamento das instituicoes para que possam funcionar. A segunda e avaliar, 
identificando as que tenham maior ou menor qualidade. As duas funcoes sao 
relacionadas, ja que uma avaliacao muito negativa poderia levar, em principio, ao 
fechamento ou interrupcao de um curso ou instituicao. 

Para saber se a avaliacao esta ocorrendo como deve, as perguntas sao: 

• Quais sao os diferentes setores a cujos interesses o sistema de avaliacao 
deve atender? 

• sistema de avaliacao produz as informacoes que interessam para os 
diferentes publicos? 

• Ele tern as carateristicas de clareza e legitimidade que seriam necessarios 
para que um sistema de avaliacao nacional tenha os efeitos que se espera? 

• Ele e tecnicamente bem constituido e robusto? 

Os diferentes publicos da avaliacao 

05 interesses da sociedade 

A "sociedade" e um conceito difuso, mas inclui a opiniao publica como um 
todo, nacional e internacional. Interessa a sociedade saber, de maneira geral, e 



tambem de maneira especifica para diferentes regioes e areas de conhecimento e 
atividade professional, se o sistema de educacao superior e adequado e se 
desempenha bem seus papeis de formacao professional, geral, tecnica, cientifica, 
cultural, etc. As estatisticas do Censo do Ensino Superior produzem algo desta 
informacao, mas nao de forma organizada e sistematizada. Os conceitos 
resultantes dos sistemas de avaliacao permitem algumas comparacoes por 
regiao e dentro de cada area de conhecimento, mas nao permitem comparar a 
importancia e qualidade relativas entre diferentes areas de conhecimento, ja que 
os resultados sao padronizados. 

Em areas de alto risco, como na medicina e na engenharia, as avaliacoes 
deveriam servir como aval da competencia profissional dos titulares de diploma, 
como criterio para autorizar o exercicio da profissao. A ausencia de padroes 
minimos tern impedido ate agora que esta funcao seja exercida, o que e 
compensado em parte, na area do direito, pelo exame da OAB. 

Uma questao recorrente nos procedimentos de avaliacao utilizados pelo MEC e a 
da utilizacao do conceito de "demanda social", que poderia ser aplicado, por 
exemplo, para impedir que uma nova faculdade de medicina fosse criada em uma 
area aonde ja existam outras faculdades funcionando. Este e um conceito que 
deveria ser aplicado nas decisoes que o governo federal vem tomando de criar 
novas universidades ou ampliar as universidades existentes, mas nao consta que 
o CONAES ou o INEP tenham participado destas decisoes. Por outro lado, nao 
cabe ao governo impedir que instituicoes privadas oferecam seus cursos aonde 
achem mais conveniente, desde que eles tenham qualidade e nao impliquem 
custos para o tesouro. Novos cursos e mais profissionais podem afetar o 
mercado de trabalho para os profissionais ja formados, aumentando a 
concorrencia, mas isto nao e um mal do ponto de vista da sociedade. 

05 inter esses do Esta do 

As avaliacoes deveriam dar ao setor publico instrumentos para garantir que o 
setor privado, estados e municipios nao esteja oferecendo cursos de formacao de 
qualidade inaceitaveis, e avaliar a eficiencia e eficacia dos investimentos nas 
areas sob sua administracao direta (ou seja, as universidades federals). 

A primeira funcao tern sido cumprida de forma timida. Nao ha um levantamento 
completo, mas existem noticias de cursos de direito, medicina e pedagogia que 
foram fechados pelo Ministerio da Educacao. E um processo longo que se inicia 
com os conceitos 1 ou 2 no "Conceito Provisorio de Cursos" e continua com a 
visita de especialistas, "Termos de Saneamento de Deficiencias", etc. Dos 11.900 
cursos com conceitos preliminares em 2007-2009, 30% tinham conceitos abaixo 
de 2, mas o numero de cursos que foram pressionados a melhorar ou encerrar 
seu trabalho nao chega a duas centenas. Como a distribuicao dos conceitos e 
normalizada, os 30% sao os resultados de uma construcao estatistica, e nao 
significa que realmente estejam funcionando em padroes inaceitaveis -mas 
podem estar. 

A segunda funcao, de avaliar o uso adequado dos recursos e o atendimento as 
prioridades do pais por parte das instituicoes federals, nao e cumprida pelo 
sistema de avalicao do SINAES e, aparentemente, por nenhum outro. Como os 



criterios da avaliacao do SINAES incluem informacoes que sao mais tipicas de 
instituicoes publicas (como numero de professores em tempo integral e 
doutores), a grande maioria das instituicoes publicas se saem razoavelmente ou 
bem das avaliacoes do ENADE, e por isto escapam da fiscalizacao direta. Um 
indicador simples que poderia ser usado na avaliacao das instituicSes publicas e 
a relacao entre o numero de publicacoes indexadas e o numero de professores 
em dedicacao exclusiva, que poderia levar a politicas corretivas se a relacao for 
muito baixa. 

Tambem nao esta claro se as novas instituicoes e programas que estao sendo 
criados pelo Ministerio da Educacao estao passando ou passarao pelo processo 
de credenciamento, recredenciamento e autorizacao de funcionamento que e 
aplicado as IES privadas. 

As instituicoes de educacao superior 

processo de avaliacao, que se inicia por uma auto avaliacao interna dos cursos 
e instituicoes, deveria criar uma oportunidade para que as instituicoes se 
comparem entre si, identifiquem suas carencias e melhorem seu desempenho. 

Para o setor privado, esta funcao ocorre em parte, porque a divulgacao dos 
resultados das avaliacoes podem afetar diretamente a demanda de estudantes 
que recebem. Para o setor publico, como nao ha praticamente consequencias das 
avaliacoes, e elas tendem a ser mais favoraveis, o impacto e aparentemente 
menor. 

Estudantes 

As avaliacoes deveriam das aos estudantes informacao nao somente sobre a 
qualidade geral dos cursos em um ranking nacional, mas tambem sobre a 
empregabilidade dos seus formados, niveis de renda esperados, possibilidades 
de continuar estudando na pos-graduacao, etc, assim como os recursos de 
infraestrutura e de apoio que as instituicoes dispoem, e, finalmente, custos 
diretos e indiretos dos cursos. Estas informacoes, no entanto, nao existem, e as 
que existem nao sao apresentadas de forma acessivel e clara. 

Empregadores 

Possiveis empregadores de formados pelas diferentes instituicSes teriam 
interesse em saber mais sobre a qualidade dos formados. ENADE da uma 
informacao geral, mas seria importante, tambem, saber que competencias 
especificas sao mais desenvolvidas nos diferentes cursos. Como o ENADE nao 
esta estruturado por competencias, e as informacoes sao apresentadas de forma 
global, esta informacao nao existe. 

Clareza e legitimidade 

Para que uma avaliacao funcione, ela tern que ser inteligivel para os diferentes 
usuarios, e a agenda responsavel pela sua execucao deve ser considerada como 
legitima pelas diferentes partes, os avaliados e os usuarios das avaliacoes. As 
avaliacoes do SINAES satisfazem a estes criterios? 



Clareza 

Os conceitos produzidos pelo SINAES sao de dificil entendimento, tanto em 
relacao a maneira em que sao construidos como em relacao ao significado dos 
conceitos finais. Parte do problema tern a ver com as sucessivas agregacoes e 
transformacoes pelas quais passam os dados ate chegarem ao conceito final. 
ENADE, enquanto prova de conclusao de cursos, tern uma compreensao 
relativamente clara, embora seja provavel que a maior parte do publico (assim 
como a imprensa) nao entenda que se tratam de distribuicoes normais, e nao de 
conceitos absolutos, que dependeriam da existencia de standards minimos que 
as provas nao tern. 

Conceito Preliminar," e ainda mais obscuro, na medida em que combina os 
resultados do ENADE dos alunos concluintes, os do "Indice de Diferenca de 
Desempenho", insumos em termos de professores com doutorado em tempo 
completo, e avaliacoes feitas por estudantes 1 . Mais obscuro ainda, e de dificil 
sustentacao conceitual, e o "Indice Geral de Cursos, o IGC, que combina conceitos 
normalizados de diferentes cursos (e por isto incomparaveis) em um indice 
composto. 

Os resultados destes procedimentos estatisticos complexos e nem sempre bem 
justificados sao apresentados em escalas simples de 5 pontos, cuja interpretacao, 
no entanto, nao e nada clara. 

Legitimidade 

Nao se pode esperar que o publico nao especializado entenda a complexidade 
dos procedimentos estatisticos usados nestes calculos, mas tampouco se pode 
esperar que as pessoas aceitem sem questionar os resultados de uma avaliacao 
que nao compreendem em sua totalidade. Tornar os criterios claros e 
transparentes, em linguagem acessivel, e nao ocultos em formulas matematicas 
so inteligiveis pelos especialistas, e um passo importante para garantir a 
legitimidade e aceitacao dos dados produzidos. 

outro componente da legitimidade, que faz com que a populacao acredite nos 
resultados, e que a instituicao seja reconhecida pela sua competencia tecnica e 
imparcialidade. Ministerio da Educacao, no entanto, e muitas vezes percebido 
como parcial, uma vez que possui uma rede propria de universidades que 
escapam a uma avaliacao mais rigorosa, e esta sujeito, como o proprio INEP, a 
mudancas sucessivas de direcao. Em muitos paises, os sistemas de avaliacao sao 
instituidos de forma independente, fora do governo e dotados de 
institucionalidade propria, o que nao ocorre em nosso pais. 

As avaliacoes do MEC tern muito pouca legitimidade entre a maioria das 
instituicoes privadas de ensino superior no Brasil, por boas e mas razoes. As 
boas razoes se devem ao fato de que a enfase posta em indicadores de insumos 



1 Ver, para uma analise mais detalhada da construcao deste indice, meu texto sobre "0 'conceito 
preliminar' e as boas praticas de avaliacao do ensino superior. Revista da Associacao Brasileira 
de Mantenedoras de Ensino Superior, n. 38, Dezembro, pp. 9-32, disponivel em 
http://www.schwartzman.org.br/simon/prelim.pdf . Veja tambem "0 Enigma do ENADE", 
disponivel em http://www.schwartzman.org.br/simon/enade.pdf 



como instalacoes e professores com contratos de tempo integral, 
independentemente de sua produtividade, e a ausencia de indicadores sobre a 
qualidade dos cursos em preparar os alunos para o mercado de trabalho, 
resultam em uma tendenciosidade que tende a colocar as instituicSes privadas 
em situacao pior, e mascara as deficiencias das instituicoes publicas. A outra boa 
razao da falta de legitimidade e a existencia de um claro preconceito, em muitos 
setores do governo, quanto ao setor privado, cujo papel em atender a 75% dos 
estudantes nem sempre e reconhecido e valorizado. As mas razoes se devem ao 
fato de que a qualidade de muitas instituicoes realmente e ma, e por isto elas 
resistem a qualquer avaliacao externa que possa revelar suas deficiencias e 
limitacoes. Seria de se esperar que setor privado desenvolvesse, de forma 
autonoma, seu proprio sistema de avaliacao, que pudesse eventualmente 
competir com o sistema oficial e adquirir mais legitimidade. Nao tern sido este, 
no entanto, o caminho preferido pelo setor privado, quern tern optado por tentar 
influenciar e alterar alguns dos procedimentos das avaliacoes do governo federal. 



Questoes tecnicas 

Estas questoes se referem a maneira pela qual os procedimentos de avaliacao 
sao conduzidos, e se dividem em dois grandes grupos, o das questoes mais 
conceituais, relativas a concepcao e uso dos resultados das avaliacoes, e as mais 
de tipo operacional, incluindo a maneira pela qual os diferentes indicadores sao 
calculados. 

As questoes de tipo conceitual mais importantes sao as seguintes: 

1 - A maneira linear em que as avaliacoes sao feitas, partindo da suposicao de 
que todos os cursos deveriam se pautar pelo modelo da "universidade de 
pesquisa", com professores doutores e em tempo integral. Este e o ponto em que 
o setor privado, que basicamente so se dedica ao ensino, mais se queixa. 

2 - a suposicao, tambem linear, de que todos os cursos de uma determinada area 
de conhecimento deveriam cumprir o mesmo programa, definido em geral por 
professores das universidades publicas. Esta suposicao impede que diferentes 
instituicoes proponham e tratem de desenvolver programas com projetos 
academicos e de formacao profissional distinta, mais voltados ao mercado de 
trabalho por exemplo. 

Este item esta associado ao fato de que as provas do ENADE nao estao 
constituidas a partir de competencias claramente identificadas, mas de 
curriculos tradicionais adotados por diferentes instituicoes 

3 - a transformacao de indicadores "low stakes", que so deveriam ser utilizados 
de forma agregada, em conceitos de "high stakes", na medida em que mesmo os 
"concertos preliminares" sao divulgados pela imprensa, afetando a credibilidade 
das instituicoes. Avaliacoes de "high stakes" nao podem ser o simples resultado 
de analises e procedimentos estatisticos, mas requerem decisoes bem 
fundamentadas caso a caso, a partir das informacoes disponiveis. 



Questoes operacionais 

Estas questoes tern a ver, sobretudo, com a maneira pela qual as diversas 
informacoes obtidas pelas provas, inspecoes e coletas de dados sao padronizadas 
e combinadas, e sobretudo em relacao aos pesos que sao atribuidos aos diversos 
indicadores, que sao em geral definidos sem maiores justificacoes. 

Existem dois problemas metodologicos principals que afetam fortemente o 
sistema atual de avaliacao. primeiro e a confusao e mistura entre dados de 
recursos e insumos, por uma parte, e dados de resultados por outra. Do ponto de 
vista dos usuarios, o que importa e a qualidade da educacao, e nao coisas como o 
numero de bibliotecas, quantidade de professores em tempo integral, ou a 
existencia ou nao de um programa didatico pedagogico. Estas coisas podem e 
certamente influenciam os resultados, mas a relacao nem sempre e clara, e o 
atendimento burocratico de certos requisitos nem sempre significa que os 
produtos esperados serao obtidos. A mistura de informacoes ou indicadores de 
recursos e resultados torna o sistema de avaliacao muito complexo e 
dispendioso (embora a informacao sobre o custo do SINAIS nao esteja 
disponivel). 

outro e a producao de rankings oficiais a partir de estimativas estatisticas 
sujeitas a erros probabilisticos e que dependem de uma serie de suposicoes mais 
ou menos arbitrarias na atribuicao de pesos e nos procedimentos de 
normalizacao e combinacao de resultados, entre outros. 



Conclusoes e recomenda^oes 

Iniciado em meados dos anos 90 com uma inovacao criativa, o Provao, a 
avaliacao do ensino superior brasileiro se tornou cada vez mais complexa ao 
longo dos anos, requerendo constantes melhorias e modificacoes. 

Um resultado importante deste processo e que o tema da qualidade da educacao 
foi colocado no centra das discussoes, para nao mais sair. No entanto, existem 
alguns problemas centrais que precisam ser tratados, para que a avaliacao possa 
avancar e produzir os resultados que se espera. As principals recomendacoes 
seriam: 

• Deveria haver uma maior preocupacao em focalizar os resultados para os 
diferentes setores interessados no ensino superior, na forma de relatorios 
e analises de facil compreensao e de acesso direto pela Internet 

• As avaliacoes deveriam impactar tambem o setor publico, e nao que 
exclusivamente o setor privado; 

• Deveria haver espaco para que diferentes instituicoes desenvolvam 
projetos pedagogicos distintos, e que por isto nao podem ser avaliados 
por uma dimensao unica 

• Faltam indicadores especificos sobre vinculacao dos cursos com o 
mercado de trabalho, com dados sobre os empregos e niveis de 
remuneracao obtidos pelos formados, e tambem sobre as qualificacoes 
profissionais (e nao academicas) dos professores. 



• Indicadores sinteticos que combinam dimensoes diferentes nao deveriam 
ser combinados em indices integrados, que obscurecem o sentido dos 
diferentes componentes, e sim mantidos e apresentados de forma 
separada. 

• Se for necessario um conceito sintetico final, ele poderia se resumir a 
duas ou tres categorias (certificados, autorizados, ou em observacao, por 
exemplo). 

Da maneira em que esta constituido, com avaliacoes em loco e as provas 
periodicas do ENADE, o sistema de avaliacao federal e hoje um sistema 
gigantesco, que faz uso de milhares de avaliadores, e que tende a se tornar cada 
vez mais caro e complexo na medida em que o sistema de ensino superior se 
amplie. Existem serias duvidas quanto a qualidade e confiabilidade das 
avaliacoes feitas pelos avaliadores, que nem sempre tern as qualificacoes 
adequadas para um sistema efetivo de peer review. 

E necessario pensar em retirar a avaliacao do Ministerio e coloca-la em uma ou 
mais agendas independentes constituidas com legitimidade. Para um pais como 
o Brasil, com a pluralidade de cursos e instituicSes que existem, poderia haver 
espaco para a criacao de diversas agendas de avaliacao, de tipo regional e 
tematica, e que possam inclusive competir entre si por reconhecimento e pela 
adesao das instituicoes e cursos a seus procedimentos. 



